画像センサデータに距離センサデータをマッピングする方法及び装置

专利摘要:
第１の距離センサ（３（１））からの第１の距離センサデータをカメラ（９（ｊ））からの画像データにマッピングする方法及び装置。当該方法は、モバイル・システムに搭載された位置判定装置からの時間データ及び位置データと、モバイル・システムに搭載された少なくとも第１の距離センサ（３（１））からの第１の距離センサデータと、前記モバイル・システムに搭載された少なくとも１つのカメラ（９（ｊ））からの画像データとを受信する工程と、第１の距離センサデータ内で、少なくとも１つの物体に関連する第１の点群を識別する工程と、第１の点群に基づいて物体に関連するマスクを生成する工程と、少なくとも１つのカメラ（９（ｊ））からの画像データ内に存在するのと同一の物体に関連する物体画像データ上に、マスクをマッピングする工程と、物体画像データの少なくとも一部分に対して、予め定められた画像処理技術を実行する工程とを含む。
公开号:JP2011505610A
申请号:JP2010531975
申请日:2007-11-07
公开日:2011-02-24
发明作者:ラファル；ヤン グリシェチンスキ，；ルーカス；ピョートル タボロフスキ，；クリストフ ミクサ，
申请人:テレ アトラス ベスローテン フエンノートシャップＴｅｌｅ Ａｔｌａｓ Ｂ．Ｖ．；
IPC主号:G06T17-05

专利说明:

[0001] 本発明は、モバイル・マッピング・システム（ＭＭＳ）等の移動車両上のカメラのような画像センサで画像及び距離センサデータを撮像及び処理し、これらのデータを、同一の移動車両上に配置される少なくとも１つの距離センサによって取得される距離センサデータにマッピングする分野に関するものである。]
[0002] 一実施形態において、本発明は、更にそのような画像から個人機微データ（privacy sensitive data）を削除する分野に関するものである。個人機微データは、固定された世界（すなわち、地球）に対して相対的に移動する物体に関連してもよい。]
背景技術

[0003] いくつかのＭＭＳアプリケーションにおいては、建造物の正面の画像や、木、道路標識、及び街路灯等の他の固定された物体の画像を撮影することが特に意図されており、それらは例えば、自動車ナビゲーション・システムにおいて使用される、道路の「実世界（real-world）」の２Ｄ画像及び３Ｄ画像の少なくとも何れかにおいて後に使用される。これにより、これらの画像は、そのようなナビゲーション・システムを備える自動車の運転者が、自動車の窓越しに見る際の実世界の光景に対応する、ナビゲーション・システムの画面上の２Ｄ画像及び３Ｄ画像の少なくとも何れかを見るように、自動車の運転者に示される。そのような画像は、自動車ナビゲーション・システム以外の他のアプリケーション、例えば、スタンドアロン・システムとして、又はネットワーク化された環境で協働するものとして、コンピュータ上で行われるゲームにおいて使用されてもよい。そのような環境は、インターネットであってもよい。以下に提示するように、本発明の解決策は特定のアプリケーションに限定されない。]
[0004] しかし、非常に多くのそのようなＭＭＳ画像は、画像上に意図せず存在する人物の顔及び読み取り可能なナンバープレート等の個人情報を含む場合がある。この個人情報、又は他の不要な情報を、そのままの状態でパブリック・アプリケーションにおいて使用することは望ましくない。例えば、新聞は、Google（登録商標）が配信するストリート・マップ・ビューで使用される画像に存在している不要な情報に関して報道している。実世界の状況で撮影される画像は、ＭＭＳの近傍の静止物体及び移動物体を描写する。当該画像において、そのような個人情報又は他の不要な情報を有する物体は、固定された世界に対して静止していてもよく、又は移動していてもよい。ＭＭＳ上のカメラにより撮影された画像においては、そのような物体を識別する必要がある。いくつかの従来技術のアプリケーションは、画像特性のみに基づいて移動物体を識別し、一連の画像の色画素特性に基づいて移動の軌跡を判定しようとしてきた。しかし、そのような方法は、軌跡を判定するための３つ以上の一連の画像上で、物体が判定される場合に限り有効である。]
[0005] 他の例としては、他の種類のセンサを使用して、かかるセンサを備える車両に対して相対的な、物体の短時間軌跡近似を判定するシステムも開示されている。そのようなセンサは、レーザスキャナ、レーダシステム及びステレオビデオカメラを含んでもよい。例えば、そのようなシステムは、特許文献１の序論で言及されている。本明細書は、車両に対する物体の相対的な位置及び速度が、例えば車両と物体との事故を回避するために重要である、リアルタイム・アプリケーションに関するものである。本明細書は、ステレオビデオカメラによって得られる画像データ上に、センサにより取得される位置及び速度データをマッピングする方法については開示しない。また、そのような物体の絶対位置及び絶対速度の判定方法についても開示していない。本明細書において、「絶対」とは、地面によって、及び、建造物、交通標識、木、山等の、地面に対して固定された物体によって決定されるであろう固定された実世界に対して絶対的である、という意味で理解されるべきである。そのような実世界は、例えば、ＧＰＳシステムによって使用されるような基準グリッドによって規定されるであろう。また、本明細書は、ビデオカメラによって撮影される画像に含まれる個人機微データを取り扱う方法については対応していない。]
[0006] レーザスキャナを使用して、建造物の専有面積の場所の識別を支援することは、例えば同時係属の特許出願ＰＣＴ／ＮＬ２００６／０５０２６４で説明されている。]
先行技術

[0007] 欧州特許第１４１８４４４号公報]
[0008] 本発明の目的は、例えば、モバイル・マッピング・システム上に配置されているために、移動しながら画像を撮影する１つ以上のカメラによって撮影された一連の画像内に存在する物体を正確に検出することを可能にするシステム及び方法を提供することである。]
[0009] 上記目的を達成するために、本発明は、プロセッサと、プロセッサに接続された、プロセッサに以下の動作を実行させるためのデータ及び指示を含むコンピュータ・プログラムを含むメモリとを備えるコンピュータ装置を提供する。コンピュータ・プログラムは、前記プロセッサに、
・モバイル・システムに搭載された位置判定装置からの時間データ及び位置データと、前記モバイル・システムに搭載された少なくとも第１の距離センサからの第１の距離センサデータと、前記モバイル・システムに搭載された少なくとも１つのカメラからの画像データとを受信する動作と、
・前記第１の距離センサデータ内で、少なくとも１つの物体に関連する第１の点群を識別する動作と、
・前記物体に関連し、かつ、前記第１の点群に基づくマスクを生成する動作と、
・前記少なくとも１つのカメラからの前記画像データ内に存在するのと同一の前記物体に関連する物体画像データ上に、前記マスクをマッピングする動作と、
・前記物体画像データの少なくとも一部分に対して、予め定められた画像処理技術を実行する動作とを実行させる。]
[0010] 位置データは、方位データを含んでもよい。]
[0011] 距離センサは、種々の物体に関連するそのような点群を提供する。物体が同一の場所に配置されないため、そのような点群の各々に関連する点は、どの物体に属すかに依存して、明確に異なる距離及び方位の少なくとも何れかを、距離センサに対して示す。従って、距離センサに対する距離のこれらの差異を使用することによって、種々の物体に関連するマスクが容易に生成される。そして、これらのマスクは、画像中の物体を識別するために、カメラによって撮影されるような画像に適用される。これは、これらの物体を識別する信頼性のある方法であり、画像データのみに依存するよりも容易である。]
[0012] そのような方法は、固定された世界に対して物体が移動していない場合に、非常に適切に機能することを示す。しかし、そのような物体は移動している可能性がある。その結果、そのような検出の精度は低下する。従って、一実施形態において、本発明は、上記で定義したようなコンピュータ装置に関連し、前記コンピュータ・プログラムは、前記プロセッサに、
・前記モバイル・システムに搭載された第２の距離センサから第２の距離センサデータを受信する動作と、
・前記第２の距離センサデータ内で、同一の前記少なくとも１つの物体に関連する第２の点群を識別する動作と、
・前記第１の点群及び前記第２の点群から、前記少なくとも１つの物体に関する動きベクトルを計算する動作と、
・前記動きベクトルを使用して前記物体画像データ上に前記マスクをマッピングする動作とを実行させる。]
[0013] 本実施形態において、当該システムは、画像が撮影された時の、物体の絶対位置及び絶対速度を判定し、物体の移動軌跡の短時間近似を使用する。すなわち、連続する画像の間の期間、及び連続する距離センサ走査の間の期間は非常に短いため、全ての動きはほとんど直線状であり、かつ、固定された世界に対して相対的に移動している物体を非常に正確に識別できるものと仮定できる。そのため、相隔てられ、かつ個別に方向付けられていることを理由として、物体の場所及び移動を識別するために容易に使用され得るデータを提供する、少なくとも２つの距離センサの距離センサ走査を使用する。先行技術から既知であるように、これにより、画像特性のみに基づいて移動物体を識別することに関連する問題が減少し、一連の画像の色画素特性に基づいて移動の軌跡を判定する。]
[0014] また、カメラ及びセンサをサポートしているＭＭＳシステムの、絶対位置及び絶対速度を判定する非常に厳密な方法を使用する場合、カメラによって撮影される画像上に存在する、ＭＭＳシステムの近傍にある物体の少なくとも１つの点の、非常に厳密な絶対位置及び短時間軌跡の推定値を取得することも可能である。これにより、そのような画像の価値を高める画像画素の３Ｄ位置の再構成が可能になるとともに、車両の運転者によって見られるような、いわゆる道路に存在する物体の改良された再構成が可能になる。物体の主軸又は物体の基準点に近似させるために、画像フィルタリング技術が使用されるだけではなく、空間分離、実際のサイズ、サイズの変動等の空間的特徴が追加されてもよい。これにより、フィルタリングの価値が高まる。]
[0015] ３Ｄ空間要素を画像に追加することによって、すなわちｚ成分を画像中の物体に追加することにより、同一の色空間特性を有する物体（例えば、木々から遠く離れた近隣の低木）でさえも、効果的に分離される。]
[0016] 画素は（絶対）空間における場所と関連付けられる。そうすることにより、顔検出又は文字検出等の１つの画像解析及び画像フィルタリングの結果は、絶対空間への同一のマッピングを含む他の画像に容易に転送及び適用される。]
[0017] いくつかの例において、可読な特性を含まない１つの画像上でＲＯＩ（Regions of Interest：着目領域）が選択され得るとともに、他の画像のＲＯＩにおいて同一の特性を判定するために使用される。例えば、２つ以上の異なる画像のＲＯＩは、空間において同一のＲＯＩにマッピングされ、第２の画像からの特性は、以前又は以降に撮影された画像に適用され得る。従って、距離センサの測定値を使用することによって、複数の画像に対して実行されるアルゴリズムに結び付けることができる。]
[0018] 本発明の原理は、レーザスキャナ、レーダ又はライダ等の、任意の種類の距離センサを使用して適用され得る。画像は、航空機等を含む任意の適切な車両に搭載される任意の種類のカメラによって撮影される。]
[0019] ＭＭＳシステム上のカメラは、同一シーンの重複部分を含む複数の画像をレンダリングするように、時間的に連続した画像を撮影してもよい。物体は、そのような重複部分において存在することにより、複数の画像に現れるだろう。画像フィルタリング技術は、本発明の方法を使用してそのような物体上に適用される場合、これらの画像のうちの１つ（一般に、最初に撮影された画像）の物体上にのみ適用される必要がある。その結果、画像処理された物体は、それが存在する全ての画像において使用される。これにより、演算時間が大幅に短縮される。]
[0020] 物体の速度がカメラの速度に対して相対的に速い場合、重要な要素は観測される物体のサイズである。なぜなら、両者の速度差が大きいほど、観測されるサイズは実際のサイズからより大きくずれるからである。そのため、距離センサデータを画像データ上にマッピングしたい場合、この影響は補正されなければならない。従って、更なる実施形態において、物体のサイズが短時間軌跡データから判定される。本実施形態において、物体の移動の軌跡に関する短時間近似によって、コンピュータ装置は、距離センサによって取得されるような、（高速な）移動物体に関連付けられた点群に対して、形状補正手順を適用することができる。その結果、そのような点群と、カメラにより撮影される画像中の物体との間の一致度がより良好となる。]
図面の簡単な説明

[0021] カメラ及びレーザスキャナを有するＭＭＳシステムを示す図である。
場所パラメータ及び方位パラメータを示す図である。
屋根に２つのカメラ及び２つの距離センサを備える自動車を示す概略的な上面図である。
本発明を実現可能なコンピュータ装置を示す図である。
本発明の一実施形態に係る基本的な処理を示すフローチャートである。
非移動物体を示す図である。
図５の画像上で可視状態であるシーンと同一のシーンに関連する、距離センサのうちの１つによって取得される距離センサデータの一例を示す図である。
マスクを生成するために図６のデータがどのように使用され得るかを示す図である。
図５に示す画像中の物体を識別するために図７のマスクがどのように使用され得るかを示す図である。
図８に示す物体の画像をぼかした結果を示す図である。
カメラのうちの１つによって撮影される画像の一例を示す図である。
図１０の画像上で可視状態であるシーンと同一のシーンに関連する、距離センサのうちの１つによって取得される距離センサデータの一例を示す図である。
マスクを生成するために図１１のデータがどのように使用され得るかを示す図である。
図１０に示す画像中の物体を識別するために図１２のマスクがどのように使用され得るかを示す図である。
本発明の一実施形態に係る基本的な処理を示すフローチャートである。
、
、
連続的な瞬間における、１つのカメラ及び２つの距離センサを備える自動車に対する物体の相対的な位置を示す図である。
物体の距離センサ測定点の群を示す図である。
物体の質量中心を計算するためのモデルにおいて使用される円筒を示す図である。
異なる方向に向けられる２つの距離センサを示す図である。
図１２に示すマスクと、物体の速度の推定値とを使用して、移動物体が画像内でどのように識別されるかを示す図である。
マスクによって識別される物体を示す図である。
図２０に示す物体の画像をぼかした結果を示す図である。
移動物体の実際のサイズ及び形状がどのように判定され得るかを示す図である。] 図１０ 図１１ 図１２ 図２０ 図５ 図６ 図７ 図８
実施例

[0022] 本発明の実施形態を示すことのみを意図し、かつ本発明の範囲を限定することは意図していないいくつかの図面を参照して、本発明を詳細に説明する。本発明の範囲は、添付の特許請求の範囲で定められるとともに、技術的な均等物によって定められる。]
[0023] 本発明は、主に、モバイル・マッピング・システム（ＭＭＳ）上のカメラにより撮影される画像を処理する分野に関するものである。特に、いくつかの実施形態において、本発明は、そのような画像又はそのような画像中の（移動）物体の識別を向上させること、及びこれらの画像中の個人機微データを削除することに関するものである。しかし、添付の特許請求の範囲の範囲内に含まれる他の応用例が、除外されることはない。例えば、カメラは、航空機等の任意の他の適切な車両に搭載されてもよい。]
[0024] 図１は、自動車１の形態をとるＭＭＳシステムを示す。自動車１は、１つ以上のカメラ９（Ｉ）（Ｉ＝１, ２, ３, ... Ｉ）、及び１つ以上のレーザスキャナ３（ｊ）（ｊ＝１, ２, ３, ... Ｊ）を備える。本発明に関連して、移動物体が識別される必要がある場合、少なくとも２つ以上のレーザスキャナ３（ｊ）からの情報が使用される。自動車１は、着目道路に沿って、運転者によって走行され得る。レーザスキャナ３（ｊ）は、いくつかの方位の集合について、レーザセンサとレーザセンサによって感知される物体との距離を検出できる任意の種類のレーザセンサにより置換されてもよい。そのような別の距離センサは、例えばレーダセンサ又はライダセンサであってもよい。レーダセンサが使用される場合、その距離及び方位測定データは、レーザスキャナで取得されるものと比較可能でなければならない。] 図１
[0025] 用語「カメラ」は、本明細書において、例えばLadybug（登録商標）を含む任意の種類の画像センサを含むものとして理解されよう。]
[0026] 自動車１は複数の車輪２を備える。更に、自動車１は、高精度の位置／方位判定装置を備える。そのような装置は、自動車１の位置及び方位に関する６自由度のデータを提供する。図１に一実施形態を示す。図１に示すように、位置／方位判定装置は以下の構成要素を含む。
・アンテナ８に接続され、複数の衛星ＳＬｋ（ｋ＝１、２、３、．．．）と通信するとともに、衛星ＳＬｋから受信される信号から位置信号を計算するＧＰＳ（全地球測位システム）ユニット。ＧＰＳユニットはマイクロプロセッサμＰに接続される。マイクロプロセッサμＰは、ＧＰＳユニットから受信するデータを時間の関数として格納する。そのようなデータは、更なる処理のために、外部のコンピュータ装置に送出される。一実施形態において、マイクロプロセッサμＰは、ＧＰＳユニットから受信された信号に基づいて、自動車１のモニタ４上に表示すべき適切な表示信号を判定し、自動車が配置されている場所と、可能であれば自動車が走行している方向とを、運転者に通知してもよい。
・ＤＭＩ（距離測定計器）。この計器は、複数の車輪２のうちの１つ以上に関する回転数を検知することによって、自動車１が移動した距離を測定する走行距離計である。ＤＭＩは、更に、マイクロプロセッサμＰに接続される。マイクロプロセッサμＰは、ＤＭＩから受信するデータを時間の関数として格納する。そのようなデータも、更なる処理のために外部のコンピュータ装置に送出される。一実施形態において、マイクロプロセッサμＰは、ＧＰＳユニットからの出力信号から表示信号を計算する際に、ＤＭＩによって測定された距離を考慮する。
・ＩＭＵ（慣性測定ユニット）。このＩＭＵは、３つの直交方向に沿った、回転加速度及び３つの並進加速度を測定する３つのジャイロユニットとして実現可能である。ＩＭＵは、更に、マイクロプロセッサμＰに接続される。マイクロプロセッサμＰは、ＩＭＵから受信するデータを時間の関数として格納する。そのようなデータも、更なる処理のために外部のコンピュータ装置に送出される。] 図１
[0027] 図１に示すシステムは、例えば、自動車１上に取り付けられた１つ以上のカメラ９（ｉ）を用いて画像を撮影することによって、地理的データを収集する。（複数の）カメラは、マイクロプロセッサμＰに接続される。また、レーザスキャナ３（ｊ）は、自動車１が着目道路に沿って走行している間にレーザサンプルを取得する。従って、レーザサンプルは、これらの着目道路に関連付けられる環境に関連するデータを含み、建造物のブロック、木、交通標識、駐車車両、人物等に関連するデータを含んでもよい。] 図１
[0028] レーザスキャナ３（ｊ）もまた、マイクロプロセッサμＰに接続され、これらのレーザサンプルをマイクロプロセッサμＰに送出する。]
[0029] 一般に、３つの測定ユニット、すなわちＧＰＳ、ＩＭＵ及びＤＭＩから可能な限り正確な場所及び方位の測定値を提供することが望まれる。これらの場所及び方位データは、（複数の）カメラ９（ｉ）が画像を撮影し、かつレーザスキャナ３（ｊ）がレーザサンプルを取得している間に測定される。画像及びレーザサンプルの双方は、後で使用するため、これらの画像及びレーザサンプルの取得時おける、自動車１の、対応する場所及び方位データと関連付けて、マイクロプロセッサμＰの適切なメモリに格納される。ＧＰＳ、ＩＭＵ、ＤＭＩ、（複数の）カメラ９（ｉ）、及びレーザスキャナ３（ｊ）からの全てのデータを、遅れることなく相互に関連付ける別の方法は、これらの全てのデータをタイムスタンプし、当該タイムスタンプされたデータを、マイクロプロセッサのメモリ内の他のデータとともに格納することである。他の時刻同期マーカが代わりに使用されてもよい。]
[0030] 画像及びレーザサンプルは、例えば、建造物のブロックの正面に関する情報を含む。一実施形態において、（複数の）レーザスキャナ３（ｊ）は、当該方法に関して十分に密な出力を生成するために、最小の５０Ｈｚ及び１度の解像度の出力を生成する。SICK（登録商標）によって製造されたMODEL LMS291-S05等のレーザスキャナは、そのような出力を生成できる。]
[0031] 図２は、図１に示す３つの測定ユニットであるＧＰＳ、ＤＭＩ及びＩＭＵから取得可能な位置信号を示す。図２は、マイクロプロセッサμＰが、６つの異なるパラメータ、すなわち所定の座標系の原点に対する３つ距離パラメータx、y、zと、それぞれx軸、y軸及びz軸を中心とする回転を示す３つの角度パラメータωx、ωy及びωzとを計算することを示す。z方向は、重力ベクトルの方向と一致する。] 図１ 図２
[0032] 図３は、２つの距離センサ３（１）、３（２）（レーザスキャナであってもよいが、あるいはレーダ等であってもよい）及び２つのカメラ９（１）、９（２）を有するＭＭＳを示す。２つの距離センサ３（１）、３（２）は、自動車１の走行方向から見て自動車１の右側を向くように自動車１の屋根上に配置される。距離センサ３（１）の走査方向はＳＤ１で示され、距離センサ３（２）の走査方向はＳＤ２で示される。カメラ９（１）も右側を見ており、すなわち、カメラ９（１）は、自動車１の走行方向に対して垂直方向に向けられてもよい。カメラ９（２）は走行方向を見ている。この設定は、車両が右側車線を走行する全ての国に適している。車両が道路の左側を走行する国に関しては、当該設定は、カメラ９（１）及びレーザスキャナ３（１）、３（２）が自動車の屋根の左側上に方向に配置される（ここでも、「左」は自動車１の走行方向に対して規定される）という意味で、変更されることが好ましい。多くの他の構成が、当業者によって使用されてもよいことは理解されるであろう。] 図３
[0033] 自動車１のマイクロプロセッサは、コンピュータ装置として実現されてもよい。そのようなコンピュータ装置の一例を図４ａに示す。] 図４ａ
[0034] 図４ａにおいて、算術演算を実行するプロセッサ１１を備えるコンピュータ装置１０の概略を示す。] 図４ａ
[0035] プロセッサ１１は、ハードディスク１２、読み出し専用メモリ（ＲＯＭ）１３、電気的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）１４、及びランダムアクセスメモリ（ＲＡＭ）３１を含む、複数のメモリ要素に接続される。必ずしもこれらメモリの種類の全てを設ける必要はない。更に、これらのメモリ要素は、プロセッサ１１に物理的に近接して配置される必要はなく、プロセッサ１１から距離を離して配置されてもよい。]
[0036] プロセッサ１１は、ユーザが命令、データ等を入力する手段、例えばキーボード１６及びマウス１７にも接続される。当業者には既知であるタッチスクリーン、トラックボール及び、音声変換器のうちの少なくとも何れかのような、他の入力手段が更に設けられてもよい。]
[0037] プロセッサ１１に接続された読取ユニット１９が設けられる。読取ユニット１９は、フロッピディスク２０又はＣＤ−ＲＯＭ１２等のデータ記憶媒体からデータを読み取るとともに、場合によってはそれらにデータを書き込む。他のデータ記憶媒体は、当業者に既知のテープ、ＤＶＤ、ＣＤ−Ｒ、ＤＶＤ−Ｒ、メモリスティック等であってもよい。]
[0038] プロセッサ１１は、紙上に出力データを印刷するためのプリンタ２３と、例えばモニタ又はＬＣＤ（液晶ディスプレイ）画面といったディスプレイ１８とに接続されてもよく、あるいは、当業者に既知である他の任意の種類のディスプレイに接続されてもよい。]
[0039] プロセッサ１１は、拡声器２９に接続されてもよい。]
[0040] プロセッサ１１は、Ｉ／Ｏ手段２５によって、公衆交換電話網（ＰＳＴＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット等の通信ネットワーク２７に接続されてもよい。プロセッサ１１は、ネットワーク２７を介して他の通信装置と通信し得る。これらの接続は、車両が道路を移動しながらデータを収集する際に、全てリアルタイムで接続されなくてもよい。]
[0041] データ記憶媒体２０、２１は、プロセッサに本発明による方法を実行する能力を提供するデータ及び命令の形態のコンピュータ・プログラム製品から成るものであってもよい。しかしながら、そのようなコンピュータ・プログラム製品は、電気通信ネットワーク２７を介してダウンロードされてもよい。]
[0042] プロセッサ１１は、独立型システムとして実現されてもよく、各々がより大きなコンピュータ・プログラムのサブタスクを実行する複数の並列プロセッサとして実現されてもよく、又は、複数のサブプロセッサを有する１つ以上のメインプロセッサとして実現されてもよい。本発明の機能性の一部は、ネットワーク２７を介してプロセッサ１１と通信するリモートプロセッサによって実行されてもよい。]
[0043] コンピュータ装置が自動車１に適用される場合、図４ａに示す全ての構成要素を有する必要はないことは明らかである。例えばコンピュータ装置は、拡声器及びプリンタを有する必要はない。自動車１で実現するのと同様に、コンピュータ装置は、少なくともプロセッサ１１と、適切なプログラムを格納するための任意のメモリと、オペレータから命令及びデータを受信するとともに出力データをオペレータに示すための、任意の種類のインタフェースとを必要とする。] 図４ａ
[0044] （複数の）カメラ９（ｉ）、（複数の）レーザスキャナ３（ｊ）、及び位置／方位測定装置によってそれぞれ取得された画像データ、走査データ、並びに、格納された位置及び方位データを後処理するために、図４ａの装置と同様の装置が使用されるが、これは、オフラインの後処理のために、自動車内ではなく建造物内に配置されるのが好都合である。（複数の）カメラ９（ｉ）、（複数の）スキャナ３（ｊ）、及び位置／方位測定装置によって取得された画像データ、走査データ、及び位置／方位データは、複数のメモリ１２〜１５のうちの１つに格納される。これは、始めにＤＶＤ、メモリスティック等にそれらを格納するか、又は場合によってはメモリ１２、１３、１４、１５から無線でそれらを送信することによって行なわれる。全ての測定値もタイムスタンプされることが好ましく、これらの種々の時間測定値も格納される。] 図４ａ
[0045] 本発明の一実施形態において、図１に示す装置は、カメラ９（ｉ）により撮影される画像中の特定の物体を区別できなければならない。画像が撮影された時のそれらの絶対位置、及びオプションとしてそれらの絶対速度は、可能な限り正確に判定されなければならない。例えば、それらは、処理された部分が閲覧者にはっきりと見えないようにするよう、少なくともそれらの部分を処理するために、識別される必要がある。例えば、そのような部分は、人間の顔、自動車のナンバープレートの番号、掲示板の政治的表現、商業広告、商標名、著作権で保護されている物体の認識可能な特徴等に関連してもよい。画像の処理中における１つの動作は、カメラ９（ｉ）によって撮影される画像内の、建造物の正面に関連するデータを無視することであってもよい。すなわち、建造物の正面に関連するデータは、最終的なアプリケーションにおいて変更されないままである。そのような建造物の正面がどこであるかに関する場所データは、同時係属の特許出願ＰＣＴ／ＮＬ２００６／０５０２６４において説明され且つ請求される方法を使用することによって取得され得る。当然ながら、建造物の正面の場所を識別する他の技術が、本発明の範囲内で使用されてもよい。そのような建造物の正面のデータが削除される場合、個人機微データを削除することは、モバイル・マッピング・システムとそのような正面との間に存在する物体にのみ関連するであろう。] 図１
[0046] そのような物体は、固定された世界に対して相対的に移動していてもよい。そのような移動物体は、人物及び自動車であってもよい。画像中の移動物体を識別することは、固定物体を識別することよりも難しいであろう。１つのレーザスキャナ３（ｊ）のみを使用することによって、非移動物体を識別し、かつそれらを画像に適切にマッピングすることは可能であるが、画像内で移動物体を適切に識別し、かつそれらの部分を処理することは非常に困難である。従って、特定の速度を有する物体に関連する実施形態において、本発明は、１つ以上のカメラ９（ｉ）及び２つ以上のレーザスキャナ３（ｊ）を有するＭＭＳに関連する。このため、異なる２つのレーザセンサ３（ｊ）から生成される同一の物体に関する２つの点群は、物体の位置を時間の関数として推定するために使用される、移動物体の短時間軌跡を判定するために使用される。そのような時間の関数としての物体の位置の推定値は、レーザスキャナデータも収集された期間に（複数の）カメラ９（ｉ）によって収集された、画像内の物体を識別するために使用される。]
[0047] 図４ａに示すコンピュータ装置は、本発明に従って特定の機能性を提供するようにプログラムされる。本発明は、少なくとも２つの側面、すなわち、非移動物体に関連する機能性と移動物体に関連する機能性とをカバーする。非移動物体に関連する機能性は、図４ｂに示すフローチャートに要約され、移動物体に関連する機能性は、図１４に示すフローチャートに要約されている。] 図１４ 図４ａ 図４ｂ
[0048] まず、図４ｂは、コンピュータ装置１０上で実行される本発明の基本的な動作を示すフローチャートである。図４ｂの動作を詳細に説明する前に、それらについてここで簡単に言及する。] 図４ｂ
[0049] 動作３０において、コンピュータ装置１０は、複数の距離センサ３（ｉ）及び複数のカメラ９（ｊ）からデータを受信するとともに、ＭＭＳに搭載された位置／方位判定装置から位置／方位データ及び時間データを受信する。]
[0050] 動作３２において、プロセッサは、距離センサ３（ｉ）から取得されるデータにおいて、図５に示す自動車のような種々の物体を識別する。] 図５
[0051] 動作３６において、コンピュータ装置１０は、距離センサデータからのデータに基づいて、１つ以上の物体に対するマスクを生成する。]
[0052] 動作３８において、コンピュータ装置１０は、測定値の異なる時間及び場所、並びに物体の移動も考慮して、１つ以上のカメラ９（ｊ）によって撮影される画像内における対応する物体上に、これらのマスクをマッピングする。]
[0053] 動作４０において、コンピュータ装置１０は、その物体内の個人機微データを判読不能にするように、マスクによって示される枠内で、当該画像の少なくとも一部分を処理する。]
[0054] 次に、これらの動作の各々について更に詳細に説明する。そのために、図５〜図９を参照する。図５は、いくつかの自動車を含む画像を示す。図５の画像は、カメラ９（２）で撮影されている。点線の矩形内に存在する第１の可視状態の自動車は、細部がはっきりと可視状態であるナンバープレートを有する。そのような細部は、プライバシーの観点から削除されなければならない。コンピュータ装置１０上で動作するプログラムは、物体を識別し、又は、一実施形態においては、個人機微情報に関連する可能性があり、かつ処理されるべき物体内の部分を識別する。図５の場合、当該プログラムは、自動車全体又はナンバープレートを識別するとともに、画像内において当該自動車全体又は当該ナンバープレートが判別不能になるようにそれを処理する。図６〜図９は、これがどのように行なわれ得るかを説明する。] 図５ 図６ 図７ 図８ 図９
[0055] 図６は、図５に示すシーンと同一のシーンであるが、距離センサ３（１）によって撮影される画像を示す。距離センサの走査点は、距離センサ３（１）と自動車との間の距離に関連する距離データを含む。] 図５ 図６
[0056] 図４ｂの動作３０に示すように、図５及び図６に示すデータは、コンピュータ装置１０に送信される。これらの図５及び図６に示すデータとは別に、時間の関数としての場所及び方位データであって、かつＭＭＳに搭載される位置判定／方位装置によって取得される場所及び方位データは、コンピュータ装置１０に送信される。これは、位置判定／方位装置の位置に対する、（複数の）カメラ９（ｉ）及び（複数の）距離センサ３（ｊ）の相対的な位置についても適用される。動作３０におけるコンピュータ装置１０へのデータの送信は、例えば、自動車１のＭＭＳによって取得されるデータの無線送信を介して、あるいは、ＤＶＤ、Ｂｌｕ Ｒａｙディスク、メモリスティック等の中間媒体を介して、任意の既知の方法で実行されてもよい。] 図４ｂ 図５ 図６
[0057] 動作３２において、物体は、距離センサデータにおいて識別される。コンピュータ装置１０は、正面予測方法、すなわち建造物の正面が配置される場所を識別する方法を適用することが好ましい。上述のように、そのような建造物の正面がどこであるかに関する場所データは、同時係属の特許出願ＰＣＴ／ＮＬ２００６／０５０２６４において説明され且つ請求される方法を使用することによって取得され得る。当然ながら、建造物の正面の場所を識別する他の技術が、本発明の範囲内で使用されてもよい。そのような場合、（複数の）カメラ９（ｉ）によって撮影される画像内の、建造物の正面に関連するデータは、これらの画像から個人機微データを削除する等の任意の更なる処理から無視されてもよい。また、地面に関連するデータは簡単な方法で削除され得る。例えば、コンピュータ装置１０は、ＭＭＳが地面の上を移動しており、それにより（複数の）カメラ９（ｉ）及び（複数の）距離センサ３（ｊ）との関係で地面がどこであるかを見分けるという事実を使用してもよい。従って、地面は、ＭＭＳが移動する平面として近似され得る。要望に応じて、斜面測定値が考慮されてもよい。モバイル・マッピング・システムとそのような正面との間で静止した物体及び移動中の物体は、画像画素を適切な空間位置にマッピングできる（複数の）距離センサ３（ｊ）によって取得される点群において発見され得る。]
[0058] 距離センサデータは、モバイル・マッピング・システムに対する、物体の画像点の相対的な位置を判定する写真測量方法を強化するプロセッサによって使用され得ることが認識される。そのような動作において、移動物体は静止物体と同様に検出される。また、そのような移動物体がたどる軌跡も推定され得る。]
[0059] 当該プログラムは、距離センサデータにプレフィルタリング処理を適用して着目の物体を識別することが好ましい。これは、より適切且つ効率的であるとともに、物体に関連する距離センサデータが、一般に、同一の物体に関連するカメラ画像データよりも少ないデータを含むため、必要な処理時間を短縮する。当該プレフィルタリング処理は、物体の動的な特徴と、物体のサイズ及び物体の位置特徴の少なくとも何れかとに基づいてもよい。この結果、更なる処理を必要とする１つ以上の選択される物体が得られてもよい。そのような更なる処理は、同一の物体のカメラ画像データに対して実行されるとともに、例えば、文字及び人間の顔の少なくとも何れかに関連する画像内の部分を識別するための、任意の既知のシーン分解技術を含んでいてもよい。そのような画像検出技術は、従来技術から既知であるため、本明細書で更に説明する必要はない。例としては、クラスタリング及びＲＡＮＳＡＣの少なくとも何れかに基づく探索モデルである。]
[0060] 距離センサの走査点は、距離センサ３（１）と図１０の自動車との間の距離に関連する距離データを含む。コンピュータ装置１０は、自動車の場所及び速度ベクトルを時間の関数として識別するために、このデータ及び他の収集された測定値に基づいて、距離センサの走査点を処理し得る。動作３６に示すように、コンピュータ装置１０は、図５の画像において個人機微データが存在しない状態にするため、位置が（複数の）カメラ９（ｉ）によって収集される画像からの点と関連付けられて、図１０に示す画像において自動車をぼかすために使用されるマスクを生成する（又は、任意の他の適切な画像処理技術を実行する）ように、時間によりパラメータ化される物体の３Ｄ軌跡を判定する。当該マスクの位置は、カメラ９（２）の画像に対する場所に関して変化する自動車に関連する距離センサの走査点の位置と一致するだろう。そのようなマスクを図７に示す。] 図１０ 図５ 図７
[0061] 動作３８において、コンピュータ装置１０は、図５に示すように、このマスクを画像上にマッピングする。図８に示すように、コンピュータ装置１０は、図５の画像において自動車の枠を確立するためにマスクをこのように使用する。] 図５ 図８
[0062] 動作４０において、コンピュータ装置１０は、その枠内において、任意の所望の画像処理技術を実行して、その枠内の自動車に関して任意の所望の結果を得る。例えば、十分な重複する画像がある場合、又は物体が完全に見えない状態でシーンが再生されるように考慮されるシーンに関する他の情報がある場合、そのような自動車（又は任意の他の物体）を当該画像から完全に削除することが可能である。従って、本実施形態において、コンピュータ装置１０は、画像データに含まれる物体の画像データを削除し、カメラ９（２）により撮影されるシーンに含まれる物体の当該画像データを、当該物体が存在しなかった場合にカメラ９（２）によって可視状態だったであろうデータに置き換える。]
[0063] 別の画像処理技術は、個人データが可視状態でなくなるように、その物体に関連する画像をぼかすことである。これを図９に示す。しかしながら、画像の少なくとも一部分を不可視状態／認識不可能にする効果を有する他の画像処理技術、例えば、その部分の焦点をぼかす技術（例えば、http://www.owlnet.rice.edu/~elec431/projects95/lords/elec431.html を参照）、又は個人の詳細を何ら示さない標準的な画像部分でその部分を置換する技術が、使用されてもよい。例えば、完全な自動車は、ナンバープレートを有さない標準的な自動車の画像に置き換えられてもよい。あるいは、ナンバープレートが自動車の画像内で識別されている場合、当該ナンバープレートは、単にぼかされるてもよいし、単なる白いプレート又は非個人的なナンバープレートの番号を有するプレートに置き換えられてもよい。「Pixelat」は、使用に適した代替的な技術であり、ビットマップの画素を矩形又は円形のセルに分割するとともに、選択された効果に依存してこれらのセルを最小画素値、最大画素値、又は平均画素値で埋めることによって画像を再現する（情報源：http://www.leadtools.com/SDK/Functions/Pixelate.htm）。] 図９
[0064] 一実施形態において、プロセッサ１１は、個人機微データ又は他の削除されるべきデータを含む物体内における、サブ物体を識別するために、画像処理解析技術を使用する。例えば、プロセッサ１１上で動作するプログラムは、眼、耳、鼻等の顔の特徴を探索することで人物の顔を識別し得る。それを行うためのプログラムは、例えば、Intel（登録商標）画像処理ライブラリにおいて入手可能であるように、市場で入手可能である。あるいは又は更に、プロセッサ１１上で動作するプログラムは、文字を含む部分を識別し得る。それを行うためのプログラムもまた入手可能であり、例えば、Microsoft（登録商標）は、本明細書において使用可能な画像処理ライブラリを提供する。他の技術は、http://www.merl.com/reports/docs/TR2004-043.pdf、http://www.robots.ox.ac.uk/~cvrg/trinity2003/schneiderman_cvpr00.pdf を参照する http://en.wikipedia.org/wiki/face_detection で見つけられる。]
[0065] あるいは又は更に、プロセッサ１１上で動作するプログラムは、文字を含む部分を識別し得る。それを行うためのプログラムも市場で入手可能であり、例えば、本明細書において使用可能な画像処理ライブラリは、http://en.wikipedia.org/wiki/Optical_character_recognition で提供される。（文字を含む）自動車のナンバープレートを認識するプログラムは、やはり存在する。このようにして、削除したいか又はぼかしたいナンバープレート及び広告が識別される。削除したいか又はぼかしたい個人機微データは、個人の電話番号に関連してもよい。]
[0066] （複数の）カメラ９（ｊ）は、ＭＭＳの周囲の画像を連続して撮影することが認識される。この結果、多くの場合、シーンの重複する部分を含む複数の連続画像が得られる。従って、それらにおいて同一の物体を有する複数の画像が存在するであろう。本発明の利点は、これらの全ての画像において物体がどこに存在するかに関する情報を提供することである。画像処理技術は、それらの全ての画像中の同一の物体に適用する代わりに、これらの画像のうちの１つの画像（一般に、最初に撮影された画像）の物体に１回だけ適用される必要がある。その後、当該処理された物体は、あらゆる他の画像においても使用され得る。これにより、処理時間が短縮される。Ｎ個の物体が、識別され、かつＫ個の連続画像において処理される必要がある場合、本発明を使用することによって、すなわち、コンピュータ装置１０によって距離センサデータに対して実行されるように、これらのＮ個の物体についての物体解析がたった１回で済む。コンピュータ装置１０は、Ｋ個全ての連続画像について、この処理を繰り返す必要はない。]
[0067] 図５〜図９の例において、自動車は、道路に沿って駐車された静止状態の物体である。これらの図に示す画像は、前方撮像カメラ９（２）によって撮影された画像の右側部分である。物体は、一度識別されると、認識可能であってはならない情報を修正するように処理される。図１０〜図２１は、固定された世界に対して相対的に移動している物体が存在する別の例に関するものである。ここでも、これらの図に示す画像は、前方撮像カメラ９（２）によって撮影された画像の右側部分である。この例は、ＭＭＳが追い越す際にシーンに存在する歩行者、すなわちカメラ９（２）によって撮影される画像に存在する歩行者に関するものである。少なくともその人物の顔に関連する画像中の部分が認識不可能であるように、すなわちその人物のプライバシーが保護されるように、その人物は、その部分を処理するために識別される必要がある。] 図１０ 図１１ 図１２ 図１３ 図１４ 図１５ａ 図１５ｂ 図１５ｃ 図１６ 図１７
[0068] 図１０は、自動車１の前方上のカメラ９（２）によって撮影された人物の画像を示す。カメラ９（２）は、距離センサ３（１）、３（２）の何れよりも早く人物の画像を撮影する。例えば、距離センサ３（１）も、わずかに遅れてではあるが人物を感知している。図１１は、距離センサ３（１）によって検出される走査点を示す。これらの走査点のうちの一部は、図１０においても可視状態である人物に関連する。図１０と図１１とを比較することによって、図１０の人物の画像と、図１１に示す同一の人物に関連する距離センサの点との間に、ずれがあることが示される。] 図１０ 図１１
[0069] 距離センサの走査点は、距離センサ３（１）と人物と間の距離に関連する距離データを含む。コンピュータ装置１０は、これに基づいて、及び他の収集済み測定値に基づいて、距離センサの走査点を処理して、人物が人がどこに存在するかを識別する。図１０の画像において個人機微データがもはや存在しない状態にするために、コンピュータ装置１０は、静止物体について、物体のレーザスキャナの点を、カメラ９（２）によって収集される画像内で見られる同一の位置に合わせて、図１０に示す画像から人物を消去するために使用され得るマスクを生成する（又は、任意の他の適切な画像処理技術を実行する）。当該マスクの位置は、カメラ９（２）の画像に変換されるような人物に関連する、距離センサの走査点の位置と一致する。そのようなマスクを図１２に示す。しかしながら、（この場合は人物である）物体が移動していた場合、コンピュータ装置１０は、距離センサの走査点に基づいて人物に関する情報を消去するであろうし、当該人物の一部分（すなわち、左側部分）は、当該画像上に依然として存在するであろう。これを図１３に示す。これは、人物がカメラ画像の時間とレーザ走査の時間との間で移動しているためである。] 図１０ 図１２ 図１３
[0070] 距離センサデータと画像データとの間に直接的な関連付けを提供するように、レーザスキャナと並べて配置され、かつ同期化されるカメラを有するシステムが、実証されていることが認識される。そのようなシステムは、例えば以下のウェブサイト、
http://www.imk.fhg.de/sixcms/media.php/130/3d_cameng/pdf、及び
http://www.3dvsystems.com/technology/3D%20Camera%20for%20Gaming-1.pdf
において示されている。市場における他のシステムは、特別な赤外線カメラからの画像を、一般的なＣＣＤセンサから取得するデータとマージすることによって、ｚ距離増補型カメラの画像を含む。しかしながら、そのようなシステムは、低解像度かつ高価である。本発明は、移動物体についてのより一般的な解決策に関するものであり、推定された短時間軌跡を使用して、物体の動きに合わせて調整することによって、カメラからの画像に対する、距離センサからの点群の適切なマッピングを更に得る。]
[0071] 従って、距離センサデータに基づいてそのようなマスクを生成することだけでなく、カメラが物体を撮影した時間と複数の距離センサ３（ｊ）のうちの１つが物体を走査した時間との間に、複数のカメラ９（ｉ）のうちの少なくとも１つによって撮影された少なくとも１つの画像において、可視状態である物体の移動量及び移動方向を規定する移動軌跡データを判定することが望ましい。以下では、少なくとも２つの距離センサ９（ｉ）を使用することで、そのような動きベクトルがどのように判定され得るかを説明する。以下の説明において、関連する短時間スケールを考慮して、物体の動きは直線状であると仮定する。しかしながら、本発明は本実施形態に限定されない。物体の動きは、あるいは、例えばそのような軌跡が、３つ以上の距離センサ３（ｊ）によって生成される走査値によって判定される、非直線状の軌跡として推定されてもよい。
。]
[0072] まず、図１４は、コンピュータ装置１０上で実行される本発明の基本的な動作を示すフローチャートである。図１４に示す方法の動作は、図４ｂに示すものとほぼ同一であり、異なるのは動作３２と動作３６との間における方法の動作３４である。動作３４において、１つ以上の移動物体についての動きベクトルが、コンピュータ装置１０によって計算される。また、動作３８において、コンピュータ装置１０は、測定値に関する異なる位置、及び物体の移動も考慮して、１つ以上のカメラ９（ｊ）によって撮影される画像内の対応する移動物体上に、動作３６で生成されるマスクをマッピングする。] 図１４ 図４ｂ
[0073] 次に、特に動作３４を更に詳細に説明する。]
[0074] 動作３０及び動作３２については、図４ｂを参照して上述した。] 図４ｂ
[0075] 動作３４において実行されるように、物体についての動きの軌跡を計算する場合、移動物体が、それが複数のカメラ３（ｊ）のうちの１つによって撮影された時間と２つ以上の距離センサ９（ｉ）のうちの２つ以上によって感知された時間との間で、移動速度及び移動方向を変化させることはないと、仮定される。従って、動きベクトルは、その時間中、実質的に一定であると仮定される。連続する画像間及び連続する走査間に含まれる短い期間を考慮すると、非常に良好な近似である「短時間軌跡近似」が使用されると言える。従って、動きベクトルの大きさ及び方向は、異なる２つの距離センサ９（ｉ）からの連続的な走査から動きベクトルを判定することによって、推定され得る。]
[0076] 別の実施形態においては、３つ以上の距離センサが使用されてもよいことが認識される。そのような場合、３つ以上の距離センサ走査が、物体の移動を識別するために使用される結果、２つの距離センサを使用して取得されるよりも高次の、物体の移動に関する軌跡の近似が得られる。]
[0077] 物体が移動しており、かつ、最初に距離センサ３（１）によって走査され、その後距離センサ３（２）によって走査された場合、物体の位置は、両走査間で異なる必要がある。これを図１５ａ、図１５ｂ、図１５ｃに概略的に示す。図１５ａにおいて、物体は、時間t1で距離センサ３（１）によって確認される。図１５ｂにおいて、物体は、時間t1より後の時間t2において、カメラ９（１）の視野においてのみ、複数の距離センサ３（ｉ）の何れかによって確認される。図１５ｃにおいて、物体は、時間t2より後の時間t3において、距離センサ３（２）の視野の中にある。] 図１５ａ 図１５ｂ 図１５ｃ
[0078] 図１５ａ及び図１５ｃは、複数の距離センサ３（ｉ）が１００％の精度で物体の場所を識別できないことを示す「位置の不確定性」領域を示すことが認識される。これは、レーザスキャナ等の距離センサが物体を複数回走査して識別する必要があるためである。これにはある程度の時間を要する。この期間、物体は移動してもよい。以下で図２２を参照して説明するように、高速な移動物体は、実際よりも大きく検出される可能性がある。動きを識別するために質量中心の概念を使用すると、誤りを招く可能性があるが、その誤りは、以下で説明する形状訂正技術によって訂正され得る。] 図１５ａ 図１５ｃ 図２２
[0079] 以下では、物体の動きベクトルを導出するために、コンピュータ装置１０によって距離センサ走査データがどのように使用されるかについて説明する。これを導出することによって、コンピュータ装置１０は、物体の速度及び物体の位置を計算できる。当該問題は、道路上のほとんどの物体が平面上のみを移動すると仮定されるために、２Ｄのみであると仮定される。当然ながら、本発明の原理は、「飛行」物体、すなわち、地面に接触せずに移動する物体を含むように拡張され得る。]
[0080] 距離センサ３（１）によって走査される第１のシーンは、距離センサ３（２）によって走査される第２のシーンと比較される。物体が移動している場合、第２のシーンの位置は、第１のシーンの位置と同一となり得ない。]
[0081] ２つの距離センサの点群の走査の比較は、以下のようにコンピュータ装置１０によって実行されてもよい。まず、コンピュータ装置１０は、点群の集合間の差異を表す点群の２つの集合を、
DIFF1 = scan1 - scan2
DIFF2 = scan2 - scan1
のように計算する。ここで、
scan2 = 第２の距離センサ３（２）の走査における点群
scan1 = 第１の距離センサ３（１）の走査における点群
である。]
[0082] この集合の演算を実行する前に、点群の複数の点は、適切な位置と関連付けられることが認識される。次に、当該等式を解くことにより、２つの異なる瞬間における、移動物体を表す点群に関する２つの集合が提供される。実際には移動物体は空間的に分離しているために、点群のこれら２つの集合の対応する部分も空間的に分離していることによって、コンピュータ装置１０は、分離した移動物体を表す点の集合に、それらを効率的に分解できる。DIFF1及びDIFF2の両方においてこれらの演算を適用することによって、コンピュータ装置１０は、同一の物体を表す点群の２つの集合を得る。]
[0083] 当業者に既知である任意の分解技術が適用されてもよい。一般に、以下の技術が使用されてもよい。第１の距離センサ３（１）の距離センサ走査における点群は、各点群が単一の物体に関連する個別の点群に分離される。そうするために、平面絶対世界座標（plane absolute world coordinates）において同様の配置を有し、かつ、互いの距離の範囲内にある複数の点は、グループ化（クラスタ化）される。これは、走査における一連の位置及び距離センサへの距離の少なくとも何れかに依存して、点のグループ毎に適応的に判定され、他のグループに属する点への平均距離は、移動物体が空間的に分離されるために著しく異なる。]
[0084] 分解方法の結果として第１のシーン及び第２のシーンにおいて検出される物体は、両方のシーンにおいて同一の物体を発見するために、両方のシーンにおいて物体の特徴を比較することによって解析される。複数の点の各グループは、その形状に関して解析される。コンピュータ装置１０は、各グループについて、例えば四角形、円筒、球体、平面等の特定の基本的な形状にグループが適合するかどうかを計算する。各グループについて、グループがそのような基本的な形状によって置き換えられるとともに、コンピュータ装置１０は、当該基本的な形状に関する、高さ、直径、幅等の基本的な特徴を格納する。その後、コンピュータ装置１０は、第２の距離センサ３（２）によって生成される走査について、同一の手順を繰り返す。次に、コンピュータ装置１０は、両走査に存在する基本的な形状を比較することによって、２つの走査で検出された物体を比較することができ、それにより、両走査における異なる物体を一致させるか又は適合させる。]
[0085] これらの２つの集合において一致するペアを判定するために、種々の既知の技術がコンピュータ装置１０によって使用される。例えば、３Ｄに拡張され得る、修正されたハウスドルフ距離測定が適用可能である（例えば、http://citeseer.ist.psu.edu/cache/papers/cs2/180/http:zSzzSzwww.cse.msu.eduzSzpripzSzFileszSzDubuissonJain.pdf/a-modified-hausdorff-distance.pdf を参照）。]
[0086] シーンにおける各物体は、全てのシーンに存在する特徴点を有する。物体の適切な特徴点は、例えば、そのような物体に属するものとして識別される点群の部分集合に基づいて計算され得る物体の範囲を定める、形状の質量中心である。物体の均整等を示す物体のいくつかの形状の特徴は、特徴点として追加されてもよい。物体が人物である場合、人物は、（人間の体の平均サイズに対応する直径及び高さを含む）円筒によって近似されてもよい。人物は人込みにおいて互いに非常に近接する可能性があるため、コンピュータ装置１０は、その群集から個人を分離できない。従って、そのような群集は、単一の物体として解析されるであろう。この単一の物体において、個々の顔は検出され得ない。それでも、個人機微データは、そのような群集を示す画像から削除される必要があるであろう。これは、当該群集を全体的にぼかすことによって解決される。あるいは、当該群集に関連する画像部分を画素化（pixelized）してもよい。群集に関連する画像の顔部分をぼかす画像処理技術に続く更に別の方法として、群衆においてであっても、当該群集に関連する画像の顔部分を識別するために、上述のような顔検出技術が使用されてもよく、それらを任意の種類の標準の顔画像等によって置き換える。自動的な画像処理によって許容可能な結果が得られない場合、手動の画像処理が代わりに実行されてもよい。]
[0087] ほとんどの場合において、距離センサ３（１）による第１の走査において検出される基本的な形状を、距離センサ３（２）による第２の走査において検出される基本的な形状に適合することに関して、曖昧性はない。曖昧性が存在する場合、それは、画像部分（着目領域）において物体を一致させる候補に適用される物体認識技術を用いてこの方法を拡張すること、及び（複数の）カメラ９（ｊ）によって撮影される各画像中の各物体のＲＯＩについての、色空間の画像特性を比較することによって解決され得る。曖昧性が依然として存在する場合、手動的な介入が適用されてもよい。]
[0088] そして、物体の絶対位置、すなわち、両シーンにおける質量中心の位置は、コンピュータ装置１０によって判定される。以下では、図１６及び図１７を参照して、質量中心がどのように計算され得るかを説明する。] 図１６ 図１７
[0089] 当業者には既知のように、物体の絶対位置は、ＭＭＳからも受信され、かつカメラ９（ｊ）が画像を撮影した回数、及び距離センサ３（ｉ）が走査した回数にリンクされた位置データから、任意の既知の方法で判定され得る。受信されたＭＭＳデータから絶対位置を計算することは、国際特許出願ＰＣＴ／ＮＬ２００６／０００５５２において詳細に説明される方法で、実行されてもよい。]
[0090] 物体についての動きベクトルは、第１のシーン及び第２のシーンにおける同一の物体の２つの絶対位置間の差異として、コンピュータ装置１０によって計算される。シーンにおける物体の位置は、このシーンにおける物体の質量中心の位置に関連してもよい。動きベクトルは、物体の速度が急速に変化しなかったと仮定すると、物体の位置を随時計算するために、コンピュータ装置１０によって使用されてもよい。この仮定は、期間t1 - t3において有効であり、この期間に近い時間においても有効である。上記において認識されるように、１つのシーンにおいて複数の移動物体が存在する場合、ある程度の曖昧性に起因して、何れの質量中心が何れの物体に関連するかを解析することになるであろう。上述のように、動きベクトルの計算を開始する際には、この曖昧性が解決されており、かつ例えば点群の特徴等を使用することによって全ての物体が識別されていると仮定される。]
[0091] 図１５ｂの位置(x2, y2)は、以下の計算を使用してコンピュータ装置１０によって算出される。] 図１５ｂ
[0092] コンピュータ装置１０は以下のデータを使用する。
(x1, y1) =距離センサ３（１）から受信された自動車１に対する相対的な位置データから、コンピュータ装置１０によって計算される、時間t1における物体の絶対位置、及び図１に示す位置判定装置から計算される、時間t1における自動車１の絶対位置データ。図２に示す位置判定装置を使用して自動車１の位置を計算する適切な方法を、国際特許出願ＰＣＴ／ＮＬ２００６／０００５５２において説明するが、他の方法が使用されてもよい。
(x3, y3) = 距離センサ３（２）から受信された自動車１に対する相対的な位置データから、コンピュータ装置１０によって計算される、時間t3における物体の絶対位置、及び図１に示す位置判定装置から計算される、時間t3における自動車１の絶対位置データ。
t1 = 物体が距離センサ３（１）によって感知された時間。この時間は、自動車１のマイクロプロセッサによって記録されており、後にコンピュータ装置１０のメモリにも格納されている。
t2 = 物体がカメラ９（１）によって撮影された時間。この時間は、自動車１のマイクロプロセッサによって記録されており、後にコンピュータ装置１０のメモリにも格納されている。
t3 = 物体が距離センサ３（２）によって感知された時間。この時間は、自動車１のマイクロプロセッサによって記録されており、後にコンピュータ装置１０のメモリにも格納されている。] 図１ 図２
[0093] 当該計算において、自動車１の速度は、期間t1 - t3の間、実質的に一定であることが仮定されている。]
[0094] コンピュータ装置１０は、以下のように、時間t2における物体の位置(x2, y2)を計算する。その計算は、時間Δtの間に移動距離Δsから物体の速度Vを計算する一般的に既知の式から始まる。]
[0095] 速度Vは、物体に関連する動きベクトルであると考えられ得る。Vをx、y要素(Vx, Vy)に分解して、Δsをx、y要素Δsx、Δsyに分解して、Δtをt3-t1で置き換えることによって、以下の式が得られる。]
[0096] このことから、(x2, y2)は以下のように導出され得る。]
[0097] 上記のように計算される位置(xi, yi)は、当該物体の質量中心に関連する。当該質量は当該物体を超えて分散していること、及び当該物体の形状は実質的に変化していないことが、仮定される。そうでない場合、計算される質量中心は、実際には物体の中心である。動きベクトルを計算するために、これは重要ではない。]
[0098] 瞬間tiにおいて１つの特定の物体に関連する距離センサ３（ｉ）からの全ての走査データは、測定点の「点群」を形成すると言えるであろう。図１６はそのような点群を示す。（上述のような分解方法によって得られ、かつコンピュータ装置１０によって実行される）１つの物体に関連する、走査された点の各々は、例えば、自動車１について規定される位置によって規定される、任意の原点からの距離riにおいて小さな円で示される。コンピュータ装置１０は、そのような点群ごとに質量中心を計算する。図１２に示すように、人間等の物体の場合、コンピュータ装置１０はまた、その人間を近似する円筒を計算する。他の物体は、他の外部形状によって近似され得る。外部形状及び質量中心は、ともに物体の描写（description）を形成する。] 図１２ 図１６
[0099] そのような群の複数の点の幾何学的な質量中心

は、以下の式から得られる。]
[0100] 図１８に概略的に示すように、距離センサ３（ｉ）は、異なる方向を向いていてもよいことが認識される。図１８において、点で描いた複数の円は物体を示す。距離センサ３（１）は、カメラ９（１）の視野の方向に対して角度αを有する方向を向いており、距離センサ３（２）は、カメラ９（１）の視野の方向に対して角度βを有する方向を向いている。α、βの両方の角度が０°である場合、物体の位置は、距離センサ３（ｉ）から受信されたデータから、コンピュータ装置１０によって最も正確に計算され得ることを示す。しかしながら、本発明はこの値に限定されない。実際には、速度を正確に計算するために、a+d+bで示される距離は、軌跡の時間が短いという仮定との整合性を維持しつつ、可能な限り長くされるべきである。] 図１８
[0101] 動作３６において、コンピュータ装置１０は、１つの物体に関連する１つの群の範囲内において、複数の走査点のうちの少なくとも一部分によって規定されるマスクを生成する。図１９は、図１０に示す人物に関連する複数の画素から成る群についての、そのようなマスクを示す。当該マスクは、画像内の同一の物体に関連付けられる物体に関連する複数の画素から成る１つの群から導出される。使用されるマスクは、物体が移動しているとしても、当該時間尺度の間実質的に形状を変化させないこれらの物体について適切に機能する、固定の形状を有する。これは、物体が徐々にしか移動していないこれらの例について、適切な想定となっている。物体が高速に移動している場合、複数の距離センサ３（ｉ）によって検出される形状は、コンピュータ装置１０によって最初に訂正されなければならない。以下では、図２２を参照してこの方法を説明する。] 図１０ 図１９ 図２２
[0102] 動作３８において、コンピュータ装置１０は、計算された動きベクトルを使用して、このマスクを図１０に示す画像の位置(x2, y2)上にマッピングする。図２０に示すように、コンピュータ装置１０は、図１０の画像中の物体の枠を確立するために、マスクをこのように使用する。] 図１０ 図２０
[0103] 動作４０において、コンピュータ装置１０は、その枠内において任意の所望の画像処理技術を実行することによって、その枠内の物体に関して任意の所望の結果を得ることができる。]
[0104] 上述のように、そのような画像処理技術の１つは、個人データが可視状態でないように、その物体に関連する画像をぼかすことである。これを図２１に示す。しかしながら、ここでも、画像の少なくとも一部分を不可視状態／認識不可能にする効果を有する他の画像処理技術、例えば、その部分の焦点をぼかす技術（例えば、http://www.owlnet.rice.edu/~elec431/projects95/lords/elec431.html を参照）、又は個人の詳細を何ら示さない標準的な画像部分でその部分を置換する技術が、使用されてもよい。例えば、人間の顔は、標準的な人形の顔によって置換されてもよい。既に図４ｂに関して述べたように、「Pixelat」は使用するのに適した技術だろう。] 図２１ 図４ｂ
[0105] 一実施形態において、プロセッサ１１は、個人機微データ又は他の削除されるべきデータを含む、移動物体内のサブ物体を識別する。例えば、プロセッサ１１上で動作するプログラムは、眼、耳、鼻等の顔の特徴を探索することで人の顔を識別し得る。それを行うためのプログラムは、市場で入手可能である。Microsoftは、本明細書において使用可能な画像処理ライブラリを提供する。他の技術は、以下のリンク、
http://www.merl.com/reports/docs/TR2004-043.pdf、
http://www.robots.ox.ac.uk/~cvrg/trinity2003/schneiderman_cvpr00.pdf を参照する http://en.wikipedia.org/wiki/face_detection
において見つけられる。]
[0106] あるいは又は更に、プロセッサ１１上で動作するプログラムは、文字を含む部分を識別し得る。それを行うためのプログラムも市場で入手可能であり、例えば、本明細書において使用可能な画像処理ライブラリは、http://en.wikipedia.org/wiki/Optical_character_recognition で提供される。（文字がのった）自動車のナンバープレートを認識するプログラムが存在する。例えば、そのようなプログラムは、速度制限を含む道路区間上で使用される。このように、削除したい又はぼかしたいナンバープレート、電話番号及び広告が識別され得る。]
[0107] これまでに、非移動物体及び移動物体を取り扱う方法について説明してきた。しかしながら、移動物体がＭＭＳ自体の速度に対して相対的に高速に移動する場合、複数の距離センサ３（ｊ）によって観測されるその物体のサイズは、実際のサイズからずれる。例えば、ＭＭＳを追い越すか、又はＭＭＳによって追い越される自動車は、静止している場合又はほとんど静止している場合よりも長い期間にわたって、複数の距離センサ３（ｊ）によって走査され続ける。従って、そのような自動車はより長い期間現れる。自動車が逆方向に移動している場合には、逆の効果が生じる。（複数の）カメラは速いシャッタースピードを有するため、すなわち、画像が自動車の実際のサイズを示すため、カメラ９（ｉ）によって撮影される画像にとって、これはさほど問題ではない。]
[0108] 自動車の実際のサイズと、距離センサ３（ｊ）によって観測される点群における自動車のサイズとの差によって、距離センサデータから導出される非常に小さなマスク又は非常に大きなマスクが得られる。従って、コンピュータ装置１０上で動作するプログラムは、この観測されるサイズ誤差を補正しなければならない。これは、動作３６において行なわれる。]
[0109] 図２２は、高速な移動物体の速度及びサイズ、並びにオプションとして形状が、どのように判定されるかについて説明する。同図の上部分は、自動車を通過するＭＭＳに関連し、同図の下部分は、逆方向に通過する自動車に関連する。] 図２２
[0110] 観測される移動物体の長さは、距離センサの１つによる走査の時間tscanningによって判定される。図２２の上部分は、距離センサ３（１）が最初に自動車を検出する状況を示す。距離センサ３（１）による走査の時間は、距離センサ３（１）による最初の検出と最後の検出（最後の検出は図２２に示されていない）との時間である。] 図２２
[0111] 自動車の実際の速度Vrealは、以下の式により定義される。
Vreal = VMMS+ Vrelative
ここで、
Vreal = 自動車の実際の速度
VMMS =位置判定装置データから判定されるＭＭＳの速度
Vrelative =図１０の人物の速度を計算するために使用される同一の式を使用して計算される、ＭＭＳの速度に対する自動車の相対的な速度
である。] 図１０
[0112] 距離センサデータ及び位置判定装置データから計算される、観測される自動車の長さLobservedは、以下の式から得られる。
Lobserved = VMMS・tscanning]
[0113] しかしながら、自動車の実際の長さLrealは以下の式から得られる。
Lreal = Lobserved - Lcorr
式中、Lcorrは、自動車が自身の速度を有するための補正値であり、以下の式に等しい。
Lcorr = Vreal・tscanning
従って、自動車の実際の長さは以下の式から得られる。
Lreal = (VMMS- Vreal)・tscanning]
[0114] なお、この後者の式において、自動車の実際の速度Vrealは、自動車がＭＭＳと同一の方向に走行している場合には、ＭＭＳの速度から差し引かれる必要があり、自動車が逆方向に走行している場合には、加算される必要がある。自動車が同一の方向に走行しているか又は逆方向に走行しているかは、２つの距離センサ３（１）、３（２）のデータに基づく速度計算からわかる。]
[0115] 自動車の実際の長さLrealが確立されると、コンピュータ装置１０は、このことを考慮して動作３６においてマスクを計算する。すなわち、例えばコンピュータ装置は、マスクの長さに因子Fを掛ける。因子Fは以下の式に等しい。
F = Lreal/Lobserved]
[0116] このように取得されるマスクは、動作３８において使用される。]
[0117] ＜概要＞
上記で、本発明が、ＭＭＳ等の、移動している自動車上の１つ以上のデジタルカメラによって撮影される画像内において、正面、道路備品、歩行者及び車両等の物体の位置を判定することに関連することを、説明してきた。自動車上に配置される１つ以上の距離センサは、マスクを生成するために使用され、当該マスクは、そのような画像内の物体を識別し、かつそのような物体又はその一部分に画像処理動作を実行するために使用され得る。場合によっては移動している物体の、画像内のサイズ及び軌跡は、ＭＭＳ上に搭載される（複数の）カメラによって撮影されるシーンと同一のシーンの走査値を生成している、そのようなＭＭＳに装着される、レーザスキャナ等の２つ以上の距離センサ又は他の距離センサを備える装置を使用して、近似される。例えば、任意の既知の建造物／正面検出アルゴリズムを使用すること、距離センサデータを使用しながら（複数の）カメラによって撮影される画像内で物体を識別すること、続いてそのような物体に１つ以上の画像処理フィルタを適用することによって、以下の有利な効果が達成され得る。
１．これらの部分の解像度又は他の画像視覚特徴を変更することによって、画像上の個人機微部分又は他の不要な部分を保護すること。
２．画像に含まれる不要なデータに関して処理された後の、１つの画像における物体又はその一部分に関連する画像部分は、同一の物体を示す、他のＭＭＳ収集された画像においても使用され得る。従って、物体に対して実行される任意の画像処理動作は、異なる画像において１回だけ適用されればよく、再度適用される必要なない。
３．距離センサの点群における静止物体、低速な移動物体、及び高速な移動物体が、区別され得る。それらの実際の長さ及び実際の速度が判定され得る。
４．カメラ画像内の物体は、判定される長さ及び速度値によって、前記画像のレーザ走査検出を調整すること、及びレーザ走査と画像取り込みとの時間差に基づいて、正確にマスクされ得る。
５．自動車と正面との間の領域内において不要な物体は削除され得るとともに、別の画像又は現在の画像からの情報は、最前面の画像を置換するように処理され得る。]

权利要求:

請求項1
プロセッサ（１１）と、前記プロセッサに接続された、前記プロセッサに以下の動作を実行させるためのデータ及び指示を含むコンピュータ・プログラムを含むメモリ（１２；１３；１４；１５）とを備えるコンピュータ装置（１０）であって、前記コンピュータ・プログラムは、前記プロセッサ（１１）に、モバイル・システムに搭載された位置判定装置からの時間データ及び位置データと、前記モバイル・システムに搭載された少なくとも第１の距離センサ（３（１））からの第１の距離センサデータと、前記モバイル・システムに搭載された少なくとも１つのカメラ（９（ｊ））からの画像データとを受信する動作と、前記第１の距離センサデータ内で、少なくとも１つの物体に関連する第１の点群を識別する動作と、前記物体に関連し、かつ、前記第１の点群に基づくマスクを生成する動作と、前記少なくとも１つのカメラ（９（ｊ））からの前記画像データ内に存在するのと同一の前記物体に関連する物体画像データ上に、前記マスクをマッピングする動作と、前記物体画像データの少なくとも一部分に対して、予め定められた画像処理技術を実行する動作とを実行させることを特徴とするコンピュータ装置。
請求項2
前記コンピュータ・プログラムは、前記プロセッサ（１１）に、前記モバイル・システムに搭載された第２の距離センサ（３（２））から第２の距離センサデータを受信する動作と、前記第２の距離センサデータ内で、同一の前記少なくとも１つの物体に関連する第２の点群を識別する動作と、前記第１の点群及び前記第２の点群から、前記少なくとも１つの物体に関する動きベクトルを計算する動作と、前記動きベクトルを使用して前記物体画像データ上に前記マスクをマッピングする動作とを更に実行させることを特徴とする請求項１に記載のコンピュータ装置。
請求項3
前記コンピュータ・プログラムは、前記プロセッサ（１１）に、前記第１の距離センサデータ及び前記第２の距離センサデータに基づいて、前記物体の実際のサイズを計算する動作と、前記実際の長さを使用して前記マスクを生成する動作とを更に実行させることを特徴とする請求項２に記載のコンピュータ装置。
請求項4
前記コンピュータ・プログラムは、前記プロセッサ（１１）に、前記第１の距離センサデータ及び前記第２の距離センサデータのうちの１つに基づいて、前記物体についての観測されたサイズを計算する動作と、前記観測された長さ及び前記実際の長さに基づいて、前記マスクを計算する動作とを更に実行させることを特徴とする請求項３に記載のコンピュータ装置。
請求項5
前記プロセッサ（１１）は、少なくとも前記第１の距離センサ及び第２の距離センサ（３（ｉ））からの前記距離センサデータ内で検出される任意の物体に関する動きの速度及び方向が実質的に一定であると仮定して、前記動きベクトルを算出することを特徴とする請求項２又は３に記載のコンピュータ装置。
請求項6
前記第２の点群を識別する前記動作は、地面に固定された参照物体から前記少なくとも１つの物体を区別する動作を含むことを特徴とする請求項２乃至５の何れか１項に記載のコンピュータ装置。
請求項7
前記第１の点群を識別する前記動作は、地面に固定された参照物体から前記少なくとも１つの物体を区別する動作を含むことを特徴とする請求項１乃至６の何れか１項に記載のコンピュータ装置。
請求項8
前記参照物体は建造物であることを特徴とする請求項６又は７に記載のコンピュータ装置。
請求項9
前記予め定められた画像処理技術は、前記少なくとも一部分をぼかすこと、前記少なくとも一部分の焦点をぼかすこと、及び予め定められた画像データで前記少なくとも一部分を置換することのうちの少なくとも１つを含むことを特徴とする請求項１乃至８の何れか１項に記載のコンピュータ装置。
請求項10
前記コンピュータ・プログラムは、更に、物体認識技術及び文字認識技術のうちの少なくとも１つを使用することによって、前記少なくとも一部分を識別する動作を前記プロセッサ（１１）に実行させることを特徴とする請求項１乃至９の何れか１項に記載のコンピュータ装置。
請求項11
前記少なくとも一部分は、個人機微データを含むことを特徴とする請求項１乃至１０の何れか１項に記載のコンピュータ装置。
請求項12
前記物体画像データは、所定のシーンに属し、前記予め定められた画像処理技術は、前記画像データ内の前記物体画像データを削除すること、及び、前記物体が存在しない場合に、可視状態のデータで前記シーン内の前記物体画像データを置き換えることを含むことを特徴とする請求項１乃至１１の何れか１項に記載のコンピュータ装置。
請求項13
前記画像データは、それぞれが同一の前記物体を表示する複数の画像に関連し、前記プロセッサ（１１）は、前記複数の画像のうちの１つに含まれる前記物体画像データの前記少なくとも一部分に対して、前記予め定められた画像処理技術を実行する前記動作によって、処理された物体画像を生成し、前記複数の画像のうちの他の画像に含まれる前記物体を、前記処理された物体画像で置換することを特徴とする請求項１乃至１２の何れか１項に記載のコンピュータ装置。
請求項14
請求項１乃至１３の何れか１項に記載のコンピュータ装置と、モバイル・システムとを備えるデータ処理システムであって、前記モバイル・システムは、前記時間データ、前記位置データ、及び方位データを提供する位置判定装置と、前記第１の距離センサデータを提供する少なくとも第１の距離センサ（３（ｉ））と、前記画像データを提供する少なくとも１つのカメラ（９（ｊ））とを備えることを特徴とするデータ処理システム。
請求項15
第１の距離センサ（３（１））からの第１の距離センサデータを、少なくとも１つのカメラ（９（ｊ））からの画像データにマッピングする方法であって、前記第１の距離センサ（３（１））及び前記少なくとも１つのカメラ（９（ｊ））の両方は、相互に固定された関係でモバイル・システム上に配置され、前記方法は、前記モバイル・システムに搭載された位置判定装置からの時間データ及び位置データと、前記モバイル・システムに搭載された少なくとも第１の距離センサ（３（１））からの第１の距離センサデータと、前記モバイル・システムに搭載された前記少なくとも１つのカメラ（９（ｊ））からの前記画像データとを受信する工程と、前記第１の距離センサデータ内で、少なくとも１つの物体に関連する第１の点群を識別する工程と、前記物体に関連し、かつ、前記第１の点群に基づくマスクを生成する工程と、前記少なくとも１つのカメラ（９（ｊ））からの前記画像データ内に存在するのと同一の前記物体に関連する物体画像データ上に、前記マスクをマッピングする工程と、前記物体画像データの少なくとも一部分に対して、予め定められた画像処理技術を実行する工程とを含むことを特徴とする方法。
請求項16
前記モバイル・システムに搭載された第２の距離センサ（３（２））から第２の距離センサデータを受信する工程と、前記第２の距離センサデータ内で、同一の前記少なくとも１つの物体に関連する第２の点群を識別する工程と、前記第１の点群及び前記第２の点群から、前記少なくとも１つの物体に関する動きベクトルを計算する工程と、前記動きベクトルを使用することによって前記物体画像データ上に前記マスクをマッピングする工程とを更に含むことを特徴とする請求項１５に記載の方法。
請求項17
前記第１の距離センサデータ及び前記第２の距離センサデータに基づいて、前記物体の実際のサイズを計算する工程と、前記実際のサイズを使用して前記マスクを生成する工程とを更に含むことを特徴とする請求項１６に記載の方法。
請求項18
コンピュータ装置によって読み込まれるデータ及び指示を含むコンピュータ・プログラムであって、請求項１５乃至１７の何れか１項に記載の方法を前記コンピュータ装置に実行させることを特徴とするコンピュータ・プログラム。
請求項19
請求項１８に記載のコンピュータ・プログラムを備えるデータ記憶媒体。
請求項20
プロセッサ（１１）と、前記プロセッサに接続された、前記プロセッサに以下の処理を実行させるためのデータ及び指示を含むコンピュータ・プログラムを含むメモリ（１２；１３；１４；１５）とを備えるコンピュータ装置（１０）であって、前記コンピュータ・プログラムは、前記プロセッサ（１１）に、モバイル・システムに搭載された位置判定装置からの時間データ及び位置データと、前記モバイル・システムに搭載された少なくとも第１の距離センサ（３（１））からの第１の距離センサデータと、前記モバイル・システムに搭載された第２の距離センサ（３（２））からの第２の距離センサデータとを受信する動作と、前記第１の距離センサデータ内で、少なくとも１つの物体に関連する第１の点群を識別する動作と、前記第２の距離センサデータ内で、少なくとも１つの物体に関連する第２の点群を識別する動作と、前記第１の点群及び前記第２の点群から、前記少なくとも１つの物体に関する動きベクトルを計算する動作とを実行させることを特徴とするコンピュータ装置。
請求項21
前記コンピュータ・プログラムは、前記プロセッサ（１１）に、前記第１の点群内の第１の質量中心と前記第２の点群内の第２の質量中心とを計算して、前記動きベクトルを計算する動作と、前記第１の質量中心と前記第２の質量中心との間の経路長を確立する動作とを更に実行させることを特徴とする請求項２０に記載のコンピュータ装置。
請求項22
前記コンピュータ・プログラムは、前記プロセッサ（１１）に、前記第１の距離センサデータと第２の距離センサデータとに基づいて、前記物体の実際の長さを計算する動作を更に実行させることを特徴とする請求項２０又は２１に記載のコンピュータ装置。
請求項23
物体の動きベクトルを計算する方法であって、モバイル・システムに搭載された位置判定装置からの時間データ及び位置データと、前記モバイル・システムに搭載された少なくとも第１の距離センサ（３（１））からの第１の距離センサデータと、前記モバイル・システムに搭載された第２の距離センサ（３（２））からの第２の距離センサデータとを受信する工程と、前記第１の距離センサデータ内で、少なくとも１つの物体に関連する第１の点群を識別する工程と、前記第２の距離センサデータ内で、少なくとも１つの物体に関連する第２の点群を識別する工程と、前記第１の点群及び前記第２の点群から、前記少なくとも１つの物体に関する動きベクトルを計算する工程とを含むことを特徴とする方法。
請求項24
コンピュータ装置によって読み込まれるデータ及び指示を含むコンピュータ・プログラムであって、請求項２３に記載の方法を前記コンピュータ装置に実行させることを特徴とするコンピュータ・プログラム。
請求項25
請求項２４に記載のコンピュータ・プログラムを備えるデータ記憶媒体。